Charles Palmer, sau là "FitzRoy", sinh ngày 18 tháng 6 năm 1662, là con trai của Charles II của Anh và tình nhân là Barbara Villiers, Công tước thứ 1 xứ Cleveland. Ban đầu, Charles được Roger Palmer, Bá tước thứ 1 xứ Castlemaine, chồng của Barbara, tuyên bố là con trai và là người thừa kế của mình trước khi Quốc vương Charles II công khai thừa nhận Charles là con trai của nhà vua.[1][2]

Charles là người con lớn thứ ba trong số các người con của Charles II với Barbara Villiers. Ban đầu, vì được coi là con trai của Bá tước xứ Castlemaine, ngay từ khi sinh ra Charles đã được gọi là "Lãnh chúa Limerick", gọi theo tước hiệu cao thứ hai của ngài Bá tước là Nam tước Limerick. Sự ra đời của Charles trùng vào lúc vọ chồng Bá tước ly thân. Ngài Castlemaine, một tín hữu Công giáo La Mã, đã rửa tội cho Charles theo đức tin Công giáo, nhưng sáu ngày sau, Quốc vương đã cho Charles rửa tội một lần nữa với tư cách là một tín hữu Anh giáo.[1][2]